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摘 要 : 针对 虚拟 化 环境 下 中 断 频率 过 大 影响 密码 设备 密码 运算 性 能 的 问题 ， 提 出 了 一 种 降低 中 断 频 率 的 性 能 优化 方 
法 。 首 先 建立 了 中 断 频 率 控 制 模型 ， 通 过 实验 验证 了 该 模型 的 合理 性 和 正确 性 ; 然后 基于 单 根 IO 虚拟 化 ， 在 虚拟 功 
能 驱动 层 加 入 速度 监测 模块 来 实时 监测 加 密 速 度 的 变化 ， 并 且 当 该 模块 监测 到 加 密 速 度 降 低 时 自动 调整 虚拟 功能 中 断 
频率 上 限 ， 降 低 由 中 断 频率 过 大 带 来 的 IO 传输 消耗 。 实 验 结果 表明 ， 中 断 频 率 上 限 的 调整 显著 提高 了 IO 密集 型 加 
密 过 程 的 加 密 速 度 
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Interrupt frequency optimization method of encryption device based on 
single root IO virtualization 


Li Shuai, Sun Lei, Guo Songhui 
(nformation Engineering University, Zhengzhou 450001, China) 


Abstract: Aiming at the problem that the interrupt frequency in the virtual environment is too large to affect the cryptographic 
computing performance of the encryption device, this paper proposed a performance optimization method to reduce the 
interrupt frequency. Firstly, the method established the interrupt frequency control model and verified the rationality and 
correctness of the model through experiments. Then, based on a single root LO virtualization, adding a speed monitoring 
module at the virtual function driving layer to monitor the change of the encryption speed in real time, and when the module 
detected that the encryption speed reduced, it automatically adjusted the upper limit of the virtual function interruption 
frequency to reduce the interruption frequency. The process reduced excessive LO transfer consumption. The experimental 
results show that the adjustment of the upper limit of the interrupt frequency significantly improves the encryption speed of the 
IO intensive encryption process. 
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0 引言 加 密 服务 下,。 其 中 ，HSM 本 身 是 一 种 密码 设备 ， 也 被 
称 为 加 密 加 速 器 直到 引用,， 可 以 确保 安全 的 密 钥 管 理 ， 同 时 

云 计 算是 继 分 布 式 计算 、 网 格 计算 、 对 等 计算 之 后 的 一 种 提供 快速 的 加 密 操 作 。 基 于 密码 技术 的 云 安 全 服务 商 京 
新 型 计算 模式 守 *! 丰 a 到 引用 浙 ,， 它 以 网 络 技 术 、 虚 拟 化 技术 、 分 布 三 未 信安 科技 发 展 有 限 公司 秆 8 也 提出 了 自己 的 云 安全 
式 计算 技术 为 基础 ， 为 去 用 户 提供 了 强大 的 计算 和 存储 能 解决 方案 ， 该 解决 方案 是 在 服务 器 端 使 用 底层 硬件 设备 一 一 密 


然而 ， 伴 随 着 云 计算 的 快速 发 展 ， 其 面临 的 安全 问题 也 日 益 凸 码 卡 作为 物理 支撑 ,密码 卡 本 身 采 用 单 根 1/O 虚拟 化 (single-root 
显 名 器 ! 示 找到 引用 滨 ' 。2018 年 , 云 安 全 联盟 (cloud security alliance, CSA) ”1/O virtualization，SR-IOV 》 惫 呈 ! 厅 i 到 I 用 浙 , 技术 实现 云 环 境 下 的 高 
最 新 公布 的 云 计算 面临 的 十 二 大 顶级 安全 威胁 对 云 安全 提出 了 性 能 资源 共享 。 

重大 挑战 。 对 此 , 各 大 云 服务 供应 商 (cloud service provider CSP) 云 计算 为 用 户 提供 了 三 种 不 同 的 服务 模型 ， 即 软件 即 服务 


也 纷纷 提出 了 各 自 的 解决 方案 。 例 如 ， 针 对 云 中 数据 泄露 的 问 


SaaS )、 


(software as a service, 


平台 即 服务 (platform as a service, 


题 ， 阿 里 云 将 一 种 硬件 安全 模块 (hardware security module， PaaS ) 以 及 基础 设施 即 服务 (infrastructure as a service, IaaS )。 
HSM) 应 用 在 底层 硬件 ， 通 过 虚拟 化 技术 为 上 层 应 用 提供 数据 其 最 大 的 优点 便 是 服务 的 高 效 性 ， 且 云 服务 的 高 效 性 主要 体现 
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在 云 环 境 下 的 IO 传输 怕 
性 能 对 高 性 能 计算 机 


提供 


了 相应 


YY 上 膏 错误 ! 未 找到 引用 源 。 
资源 共享 


高 了 虚拟 化 条 伯 


局 J 


FF IO 


系统 至 关 重 要 错误 ! 未 找到 引 


的 IO 虚 殷 


筷 输 性 能 ， 它 采用 P 


LE 能 上 ”Wn 所 以 云 环境 下 的 IO 


WW ， 大 多 数 云 服务 


化 技术 为 用 户 提 供 灵活 高 效 的 
其 中 ， 单 根 VO 虚拟 化 技术 的 出 现 显著 提 


assthrough I/O 各 吕 ! 示 机 


到 引用 浙 , 传输 方式 , 不 需要 虚拟 机 监控 器 (virtual machine monitor, 


VMM) 对 虚拟 机 (virtual machine, VM) 进行 监控 ， 通 过 硬件 


出 内 


IOMMU) 词 


直接 与 虚拟 机 进行 VO 传输 ， 


存 管 


里 单元 (input/out 
少 了 存储 保护 和 地 址 转换 的 开销 ， 大 大 提高 了 
输 效 率 旬 Ra 有 世人 ka 天， 伯 是 ， 当 到 达 SR_IOV 设备 的 
部 中 断 请 求 过 多 和 SA 时 ， 会 严重 影响 其 IO 性 能 , VO 性 
能 的 降低 会 直接 影响 SR-IOV 密码 设备 的 加 密 性 能 ， 这 与 高 性 


能 云 计 算 的 要 求 是 背离 的 。 
本 文 以 Intel Corporation DH895XCC Series QAT 等! 厅 直到 引用 源 ， 


密码 设备 为 实验 对 象 ， 采 用 SR-IOV 技术 在 KVM 平台 上 搭建 
了 虚拟 密码 机 (virtual cipher machine, VCM ) 集群 ，] 


种 通过 监测 加 密 速度 


方案 ， 


动 的 可 配 
优化 了 大 量 虚 拟 中 断 造成 的 资源 浪费 ， 充 分 发 挥 了 SR-IOV 密 


克服 了 大 量 虚 


码 设备 的 性 能 。 


相关 工作 和 相关 技术 
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1.1 


对 于 SR-IOV 设备 面临 的 


挑战 ， 


直 
的 ; 


看 ，SR-IOV 设备 
接 从 中 断 频 率 入 手 ， 
第 二 个 是 从 中 断 


相关 工作 


变化 来 自 
拟 中 断 带 来 的 过 高 性 外 


学 术 界 已 开展 


Ph 断 的 


了 一 些 研究 工作 。 


且 在 传输 过 程 中 ， 通 过 输入 / 输 


put memory management unit, 


动 调节 VF 中 断 频率 上 限 的 控制 


加 


李 


出 的 方法 (exit-less interrupt ELI)， 该 机 制 采 
户 虚 拟 机 内 建立 影子 中 断 


式 在 客 


table, IDT) 直接 处 


帅 ， 


| ChinaXiv 合 作 期 刊 
等 : 基于 单 根 IO 虚拟 化 的 密码 设备 中 断 频 率 优 化 方法 


用 软件 模拟 的 方 


(interrupt description 


述 符 表 


EE 中断。 但 是 在 ELI 机 制 中 ， 影 子 IDT 只 能 


接收 客 


户 机 已 经 分 配 的 中 断 ， 其 他 没有 被 分 配 的 中 断 仍 需 要 主 


机 的 参与 。 而 且 ， 当 有 大 量 虚拟 中 断 需 要 处 理 时 ， 仍 会 导致 较 
大 的 性 能 开销 。Tu 等 全! 雪 并 旨 , 提出 了 一 种 直接 中 断 传输 的 
方法 (direct interrupt delivery，DID )， 该 机 制 可 在 虚拟 机 中 断 


处 理 过 程 中 完全 消除 VM-exit， 优 化 了 中 断 处 理 路 径 ， 且 不 需 
要 软件 模拟 ; 但 该 机 制 是 通过 外 载 与 root 模式 有 关 的 操作 来 禁 
止 VM-exit， 存 在 潜在 的 安全 问题 ， 可 能 会 导致 虚拟 中 断 的 错 


误 处 理 


或 者 不 处 理 


,Hu 人 人 全 生机 引用 守 : 


提出 了 一 种 针对 IO 虚 


拟 化 的 高 效 和 相应 事件 系统 (efficient and reSponsive event 
system for IO virtualization, ES2 )， 该 系统 改善 了 虚拟 机 与 硬件 


设备 之 间 的 双向 IO 传输 ， 优 


化 了 IO 传输 路 径 ， 可 进行 没有 


VM-exit 的 中 断 传输 ， 但 是 该 方法 不 适用 于 SR-IOV 设备 ， 
SR-IOV 环境 下 中 断 的 处 理 仍 有 主机 的 介入 ， 当 大 量 虚拟 中 断 


开销， 利用 VF 了 驱 


特点 对 SR-IOV 密码 设备 在 KVM 中 进行 了 实现 ， 


请 求 需要 处 青 


统 性 能 。 


时 


， 依 然 会 造成 频繁 的 上 下 文 切 换 ， 严 重 影响 系 


王 展 等 人 和 al, 提出 了 一 种 基于 单 根 IO 虚拟 化 


的 多 根 VO 资源 池 化 方法 , 该 方法 实现 了 多 个 服务 器 对 同一 IO 


设备 的 共享 复 | 
利用 效率 ;但 是 


大 量 中 断 频率 造成 性 能 降低 的 
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综合 


国内 外 研究 


机 制 入 手 ， 通 过 


究 主要 从 两 个 广 , 
通过 降低 中 断 频率 来 达到 性 能 优 
化 中 i 


优 


问题 ， 


9 对 XEN 中 的 虚拟 中 断 处 理 进行 了 人 
事先 确定 VF 的 最 优 中 断 频率 上 限 ， 属 于 一 种 静态 配置 ， 不 
上 。Guan 侮 :大 全 不 到 下 让 和 提 晶 
型 ， 消 除了 一 些 关 键 
在 主机 内 核 需 要 APIC 模拟 ， 
中 断 控制 方法 的 基础 上 ， 提 出 了 一 种 
判断 SR-IOV 设备 接收 到 


误 ! 未 找到 


此 的 目 
法 ,Dong 


有 普 适 怕 


的 。 对 于 直 


并 在 此 基础 上 


"mu 在 粗 粒度 


应 中 断 频 率 控制 的 方 


的 中 断 频 率 的 


来 探 


了 实现 。 对 于 中 断 术 
的 方法 来 减少 大 量 
LO 传输 性 


判 中 断 频 率 从 而 


接 疝 


少 


等 人 千 吕 /未 找 到 引用 源 ' 指出 了 SR-IOV 中 


IO 处 
增加 了 主机 的 


法 ， 该 方法 通过 


提高 虚拟 机 性 能 ; 


不 适用 


E 能 。Gordon 


量 中 断 频 率 来 提高 IO 性 


和 
断 引 起 的 性 能 降低 


是 出 一 种 粗 粒度 中 断 频率 控制 方法 天 
化 ;但 是 该 方法 需要 


上 了 一 种 基于 事件 的 轮 询 模 
理 路 径 中 引发 的 中 断 ， 但 是 该 模型 


额外 开销 。Li 等 人 
适 


大 小 与 最 优 中 断 的 关系 ， 加 入 中 断 频 率 控制 模块 
但 是 该 方法 增加 了 


IO 


密集 型 负载 ， 而 且 仅 是 针对 网 卡 虚 拟 化 做 


A 错误 ! 未 找到 引用 源 。 
等 人 提 晶 


儿 制 的 优化 ， 学 术 界 都 是 通过 优化 中 断路 径 
P 断 到 来 时 CPU 资源 的 过 度 消耗 , 从 而 提高 


了 一 种 更 少 中 断 退 


]， 减 少 了 单 体 服务 器 连 线 


的 元 余 ， 提 高 了 资源 
由 中 断 导 致 的 IO 设备 资源 竞争 ， 当 


却 造成 了 


系统 中 存在 大 量 中 断 请 求 时 ， 


针对 虚拟 化 环境 下 中 断 
的 问题 ， 本 文 主要 完成 了 以 下 工作 : 


码 运算 性 能 


会 导致 服务 器 IO 性 能 严重 下 降 。 
频率 过 大 影响 SR-IOV 密码 设备 密 


a) 模型 建立 。 本 文 以 
密 字 节 块 和 中 断 频 率 之 间 的 关系 ， 并 建立 了 相应 的 数学 模型 ， 
从 


AES 算法 为 例 分 析 了 加 密 速度 、 加 


推导 出 了 


者 之 间 的 关系 。 结 果 表 明 ， 影 响 虚 拟 密码 机 加 


窟 性 他 
密 性 能 


_— 


b 


的 主要 因素 是 中 断 频 率 的 大 小 。 
中 断 频 率 优化 。 本文 提出 了 一 种 通过 监测 加 密 速 度 变化 
自动 调节 虚拟 功能 《virtual function，VF ) 千 ' 丰 找到 引用 浙 。 中 晰 频 


率 上 限 的 控制 方案 。 该 方案 在 VF 驱动 层 加 入 速度 监测 模块 ， 
可 实时 监测 加 密 速度 的 变化 ， 并 且 在 整个 监测 的 过 程 中 ， 速 度 


监测 模块 只 需 调 
上 限 调 整 后 的 虚拟 密码 机 加 密 性 能 达到 最 大 。 


率 j 


整 一 次 VF 的 中 断 频 率 上 限 ， 而 且 能 使 中 断 频 


c) 实验 验证 。 本 文 对 得 出 的 结论 进行 了 实验 验证 ,结果 表 


明 优 化 后 的 模型 


1.2 相关 技术 


SR-IOV 


现 为 一 个 物理 


条 找 引 引用 源 . 。 其中， 每 个 PF 都 


E 功 


协议 是 
的 扩展 ， 它 通过 IO 设备 自 


能 最 大 限度 地 保持 虚拟 密码 机 加 密 性 能 。 


PCI-SIG 组 织 发 布 的 PCIe 总 线 互 连 协议 
身 的 硬件 虚拟 化 将 单个 物理 设备 呈 
能 (physical function, PF〉 和 若干 虚拟 功能 各 
有 标准 的 PCIe 功能 ， 可 以 对 其 进 


行 完全 的 配置 


也 可 以 通过 PF 对 


三 | 


仅 具 有 轻 量 级 的 PCIe 功能 ， 能 进行 数据 的 传输 sf 。 在 


管理 用户 可 以 通过 PF 配置 或 者 控制 PCIe 设备 ， 
数据 的 输入 和 输出 进行 管理 。 相 比 于 PF，VF 


上 态 夺 


数据 传输 过 程 中 , 


于 每 个 VF 对 应 唯一 的 资源 标志 符 (resource 


identifier ,RID), 


且 每 个 RID 可 用 于 索引 IOMMU 页 表 ， 所 以 
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Chi 
录用 入 李 是， 等 : 0 化 方法 


每 个 VF 可 以 独立 接收 和 传输 数据 包 。 并 且 每 个 VF 都 拥有 与 ” 后 ， 中 断 频 率 的 增加 只 能 导致 性 能 的 下 降 ， 这 是 因为 大 量 的 中 
性 能 相关 的 资源 ， 如 传输 和 接收 描述 符 ， 同 时 可 共享 其 他 主要 ” 断 请 求 占 用 了 大 量 的 CPU 资源 ， 致 使 CPU 可 用 于 处 理 密码 运 


设备 资源 ， 实 现 了 资源 的 高 效 共享 。 算 的 时 间 急 剧 减 小 。 
目前 ， 硬 件 密码 设备 技术 比较 有 代表 性 的 是 Intel 公司 的 
Intel Corporation DH895XCC Series QAT 密码 设备 。QAT 密码 
设备 借助 英特尔 QuickAssist 技术 (英特尔 @ QAT), 可 提升 云 、 Ne oon 
网 络 、 大 数据 和 存储 应 用 中 动态 数据 和 静态 数据 的 安全 性 和 压 -对 so 
缩 性 能 ， 同 时 可 加 快 计算 密集 型 操作 ， 为 安全 性 、 身 份 验证 和 二 03 soo 室 
压缩 提供 了 软件 化 的 基础 ， 显 著 提 高 了 标准 平台 解决 方案 的 性 a 0: | -i 
能 和 效率 9Rkaa9mw 。 该 设备 集成 了 对 称 加 密 和 身份 验证 、 不 四 | | 
对 称 加 密 、 数 字 签名 、 公 开 密 钥 加 密 和 DH 等 加 密 技术 ， 用 户 。 
可 以 通过 相应 的 接口 调用 相应 的 密码 算法 来 实现 加 密 需 求 。 为 
了 实现 高 性 能 云 服务 的 需求 ，QAT 密码 设备 本 身 支 持 SR-IOV me 中 断 闫 一 一 虑 拟 密码 机 加 密 这 度 
技术 ， 通 过 SR-IOV 技术 的 实现 来 达到 云 环境 下 资源 的 高 效 共 
享 。 其 基于 SR-IOV 技术 的 QAT 密码 设备 基本 架构 如 图 1 所 示 。 图 2 AES128 加 密 速度 测试 
其 中 ，VCM 与 VF 之 间 通 过 VFIO 驱动 直接 通信 ， 并 且 不 受 图 3 的 测试 显示 了 虚拟 密码 机 同时 处 理 多 个 相同 密码 任务 
VMM 的 干预 。 时 , 每 个 加 密 任务 的 加 密 速度 变化 以 及 CPU 的 使 用 率 情 况 。 从 
实验 结果 中 可 以 看 出 ， 当 虚拟 密码 机 同时 处 理 两 个 相同 密码 任 


务 时 ， 每 个 密码 任务 的 加 密 速度 大 约 是 虚拟 密码 机 处 理 单个 密 
码 任务 时 加 密 速 度 的 一 半 ， 当 虚拟 密码 机 同时 处 理 三 个 相同 密 
码 任务 时 ， 每 个 密码 任务 的 加 密 速 度 大 约 是 虚拟 密码 机 处 理 单 
个 密码 任务 时 加 密 速度 的 三 分 之 一 ， 以 此 类 推 。 该 测试 结果 说 
明 ， 当 一 个 虚拟 密码 机 同时 处 理 多 个 密码 任务 时 , 由 于 CPU 负 
载 均衡 的 限制 , 每 个 负载 平均 分 配 可 用 的 CPU 资源 ， 导 致 处 理 


人 记功 能 区 每 个 密码 任务 的 速度 均 严重 下 降 。 但 是 虚拟 密码 机 处 理 多 个 密 

码 任务 时 ， 各 个 密码 任务 加 密 速度 的 总 和 小 于 虚拟 密码 机 处 理 

图 1 基于 SR-IOV 的 QAT 密码 设备 基本 架构 单个 密码 任务 时 加 密 速度 的 大 小 ， 而 且 每 个 虚拟 密码 机 同时 处 
时 的 密码 任务 越 多 ， 其 加 密 速度 的 总 和 与 单个 密码 任务 的 加 密 


Sn 速度 差别 越 大 ， 这 也 从 侧面 反映 出 中 断 频率 对 虚拟 密码 机 加 密 
为 保护 云 中 数据 的 安全 性 ， 在 云 资源 中 心服 务 器 集群 中 使 。 速度 的 影响 ， 由 多 个 任务 带 来 的 过 多 中 断 请 求 引起 的 虚拟 密码 
用 硬件 密码 设备 为 上 层 应 用 提供 相应 密码 服务 ， 采 用 SR-IOV ”机 加 密 性 能 降低 。 
技术 将 单个 硬件 密码 设备 虚拟 成 多 个 虚拟 密码 设备 ， 每 个 虚拟 
密码 设备 分 配给 一 个 虚拟 机 当 作 虚 拟 密码 机 来 使 用 ， 从 而 实现 600 
单个 硬件 物理 资源 的 高 效 利 用 。 用 户 通过 租用 虚拟 密码 机 获得 
相应 密码 服务 , 当 虚 拟 密码 机 处 理 用 户 发 出 的 密码 运算 请 求 时 ， 
任务 的 中 断 会 使 当前 执行 密码 运算 的 速度 严重 下 降 ， 而 且 ， 当 


加 密 速度 (MB/seo 
CD 
3 


让 


200 | 
云 环 境 下 存在 大 量 的 中 断 请 求 时 ， 虚 拟 密码 机 的 性 能 将 会 严重 100 ‘a 
下 降 。 512 1024 2048 4096 8192 16384 32768 65536 
图 2 的 测试 显示 了 虚拟 密码 机 处 理 单个 密码 任务 时 ， 对 接 加 密 字 节 块 (bytes) 


收 到 的 不 同 加 密 字 节 块 大 小 ，AES128 算法 加 密 速度 的 变化 趋 


和 一 个 任务 目 两 个 任务 目 两 个 任务 目 三 个 任务 目 三 个 任务 目 三 个 任务 
势 。 从 实验 结果 中 可 以 看 出 ， 加 密 字 节 在 16 384 之 前 ， 虚 拟 密 
码 机 加 密 速度 一 直 在 增 大 ; 当 加 密 字 节 为 16 384 时 ， 虚 拟 密码 图 3 多 个 相同 密码 任务 加 密 速 度 测试 
机 加 密 速度 达到 最 大 ;， 当 加 密 字 节 再 继续 增 大 时 ， 虚 拟 密码 机 因此 ，SR-IOV 密码 设备 仍 面临 着 严峻 的 挑战 : 大 量 的 中 
加 密 速度 开始 降低 。 整 个 过 程 中 ， 随 着 加 密 字 节 块 的 增 大 ， 中 断 请 求 频率 导致 SR-IOV 密码 设备 性 能 降低 。 针 对 此 挑战 ， 本 


断 频 率 一 直 在 增 大 ， 这 说 明 当 加 密 字 节 达到 16 384 字 节 时 ， 文 探 究 了 影响 虚拟 密码 机 加 密 性 能 的 影响 因素 ， 建 立 了 相应 的 
SR-IOV 设备 达到 其 最 大 处 理 中 断 请 求 和 密码 运算 的 能 力 ; 之 。 ”数学 模型 ， 通 过 实验 验证 了 理论 分 析 结 果 ， 并 在 此 基础 上 对 不 
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同类 型 加 密 方式 的 差异 性 进行 了 分 析 和 实验 验证 。 


3 ”模型 建立 与 优化 


目前 流行 的 加 密 和 数字 认证 算法 都 是 采用 块 加 密 方式 ， 即 
把 需要 加 密 的 明文 分 成 固定 大 小 的 数据 块 ， 然 后 对 其 执行 密码 
算法 得 到 密 文 。 本 文 以 AES 算法 采用 密码 块 链 模 式 (cipher 
block chaining, CBC ) 条 折 到 引用 浙 , 加 密 为 例 , 分 析 了 影响 SR-IOV 
密码 设备 加 密 性 能 的 因素 ， 并 以 加 密 速度 作为 性 能 参考 标准 ， 
得 出 中 断 请 求 频率 过 大 影响 SR-IOV 密码 设备 加 密 性 能 下 降 的 
结论 。 
3.1 中 断 频 率 控制 模型 的 建立 

假设 1s 时 间 内 ,到达 SR-IOV 密码 设备 的 中 断 请 求 频 率 为 
7 ,SR-IOV 密码 设备 处 理 每 个 中 断 所 用 的 时 间 为 T (其 中 7 为 
常数 )， 执 行 密码 运算 所 用 的 总 时 间 为 刀 (<1)，1s 时 间 内 


总 的 加 密 字 节 共 分 为 n 组, 每 加 密 一 组 数据 所 用 的 时 间 为 1 (其 
中 为 常数 )， 则 有 

iitt 1 (1) 

t=nt (2) 


段 设 每 次 向 SR-IOV 密码 设备 发 送 的 加 密 数 据 包 大 小 为 B， 
SR-IOV 密码 设备 对 接收 到 的 数据 包 进 行 加 密 的 加 密 速 度 为 V 
(V 由 实验 测 得 ), 分 组 大 小 为 工 字 节 , 对 于 特定 的 密码 算法 ， 


其 分 组 大 小 由 SR-IOV 设备 本 身 决 定 ， 那 么 7 可 表示 为 
_ 1024V _ 1024VL @) 
B/L 8B 
式 (1) ~ (3) 可 得 
7< 了 四 2 了 (4) 
上 述 所 有 符号 的 单位 及 含义 如 表 1 所 示 。 
表 1 每 个 符号 的 含义 及 单位 
符号 含义 单位 
I 中 断 请 求 频率 一 次 
了 处 理 每 次 中 断 所 用 的 时 间 ss 
t 加 密 每 组 数据 所 用 的 时 间 ss 
ti 执行 密码 运算 所 用 的 总 时 间 s 
n 总 的 分 组 数 组 
B ”加 密 数 据 包 大 小 Byte 
V ”QAT 密码 设备 加 密 速 度 MB/s 
L 分 组 大 小 Byte 
当 式 (4) 等 号 成立 时， 对 其 求 导 ， 得 出 的 结果 如 式 (5) 
所 示 。 
10) 2 1024VLr 下 丙 
7 8B 


从 式 (5) 可 以 看 出 ， J 中 大 于 零 ， 即 SR-IOV 密码 设备 
的 中 断 请 求 频率 了 随 着 加 密 数 据 包 B 的 增 大 而 增 大 ， 其 中 7 
随 B 的 大 致 变化 趋势 如 图 4 所 示 ; 相应 的 ， 中 断 请 求 频率 了 随 
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加 密 数 据 包 B 的 大 致 变化 趋势 如 图 5 所 示 。 


0 
了 


> 
0 B 


图 4 70 随 B 的 大 致 变化 趋势 


I 


0 8 
图 5 了 随 B 的 大 致 变化 趋势 


即 加 密 数 据 包 B 越 大 ,完成 加 密 运算 需要 的 运算 次 数 越 多 ， 
相应 的 中 断 请 求 的 频率 就 会 越 大 。 


同时 ,由 式 (1) ~ (3 ) 可 得 ， 加 密 速度 V 与 加 密 数 据 包 B 
和 中 断 频 率 7 的 关系 如 式 (6) 所 示 。 
B BT 
VY 过 一 一 一 一 7 (0) 
ee 1024L 


式 (6) 取 等 号 时 ， 
偏 导 ， 得 出 如 下 关系 : 


分 别 对 加 密 数 据 包 B 和 中 断 频 率 了 求 


OV _ 1 


= (1-77) 
6B 1024Lt 
(7) 
-了 
ol 1024L 
OV V 
Ln 小 于 零 。 也 就 是 说 ， 加 密 速度 V 


人 
的 增 大 而 减 小 。 由 于 当 加 密 数 据 包 B 为 0 时， 即 没 有 中 断 请 求 
时 ， ee 所 以 加 密 速度 V 一 定 存在 极 大 值 W， 。 
当 加 密 速 度 V 达到 最 大 时 ,此 时 的 加 密 数据 包 B 和 SR-IOV 密 
码 设备 处 理 的 中 断 频 率 7 达到 一 个 理想 值 ， 即 在 这 个 理想 值 之 
前 ， 加 密 数 据 包 B 和 中 断 频 率 了 呈现 正 相 关 的 关系 ， 在 这 个 理 
想 值 之 后 则 呈现 负 相 关 的 关系 。 这 个 理想 值 就 是 SR-IOV 密码 
设备 处 理 密码 运算 的 最 优 值 。 若 把 加 密 数 据 包 B 的 理想 值 记 为 
B,， 在 理想 值 B, 下 ，SR-IOV 密码 设备 处 理 中 断 请 求 频率 的 
里 想 值 记 为 J, ， 则 有 


1024V,,.L 
Wl (8) 


0 


加 
显然， 


OV 1 
考虑 极端 的 情况 , 令 一 一 等 于 0, 求 得 驻 点 [= 一 ， 
oB T 


1 
当 7 = 时 ， 加 密 速 度 为 0， 此 时 的 中 断 频 率 了 即 SR-IOV 设 


备 每 秒 所 能 处 理 的 最 大 中 断 请 求 ， 由 于 此 时 的 加 密 数 据 包 B 过 
大 导致 中 断 请 求 频率 过 大 ， 致 使 SR-IOV 密码 设备 把 全 部 的 时 
间 用 来 处 理 中 断 请 求 ， 而 失去 了 密码 运算 的 能 力 。 当 然 ， 这 种 
现象 在 实验 中 是 不 会 出 现 的 。 因 为 对 于 SR-IOV 密码 设备 来 说 ， 
其 虚拟 功能 VF 自身 支持 设置 中 断 频 率 上 限 ， 为 了 追求 更 高 的 
加 密 速度 ， 中 断 频率 的 上 限 设 置 理论 上 应 等 于 理想 值 [, ， 而 理 
想 值 了 的 取 值 需要 通过 实验 测试 获得 数据 。 从 理 六 


耸 分 析 的 角 


得 
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可 以 得 出 结论 : 当 加 密 数 据 包 B 大 于 理想 值 B 时， 中 断 请 求 
频率 了 将 继续 增 大 ， 但 是 由 于 已 经 超出 了 SR-IOV 设备 的 密码 
运算 能 力 ， 加 密 速 度 V 将 会 下 降 ， 甚 至 为 0， 此 时 便 会 严重 影 
响 SR-IOV 设备 的 密码 运算 性 能 。 加 密 速 度 V 和 加 密 数 据 包 B 
两 者 的 大 致 变化 趋势 如 图 6 所 示 。 

V 


0 B, B 
图 6 V 和 B 三 者 大 致 变化 趋势 

因此 ,有 必要 对 中 断 请 求 处 理 的 加 密 数 据 包 大 小 进行 控制 ， 
从 而 控制 到 达 SR-IOV 设备 的 中 断 请 求 频率 ， 使 SR-IOV 设备 
处 理 密码 运算 的 性 能 达到 最 大 ， 即 加 密 速度 达到 最 大 ， 来 为 用 
户 提供 更 高 效 的 密码 运算 服务 
3.2 ”中断 频率 优化 方法 
上 述 分 析 可 知 ， 当 加 密 数据 包 达 到 理想 值 B, 时 ， 此 时 
SR-IOV 密码 设备 加 密 速度 最 大 ; 相应 的 ，SR-IOV 密码 设备 处 
理 的 中 断 请 求 频率 达到 理想 值 1, 。 因 此 ， 可 以 对 SR-IOV 密码 
设备 接收 到 的 加 密 数 据 包 的 大 小 进行 有 效 的 控制 来 使 加 密 速度 
尽量 维持 在 一 个 较 高 的 值 。 现 在 可 作出 初步 设想 : 当 SR-IOV 
密码 设备 接收 到 的 加 密 数据 包 大 小 小 于 理想 值 时 ， 不 作 任何 改 
变 ; 当 SR-IOV 密码 设备 接收 到 的 加 密 数 据 包 大 小 大 于 理想 值 
时 ， 先 对 接收 到 的 加 密 数据 包 进 行 分 块 ， 且 分 块 时 以 理想 值 作 
为 分 块 基准 ， 这 样 便 能 使 每 块 加 密 字 节 获得 最 大 加 密 速 度 。 对 
SR-IOV 密码 设备 接收 到 的 加 密 数据 包 进 行 控制 的 模型 如 式 (9) 
所 示 。 


B 
关中 | 名 | 四， 在 和 人 娄 训 时 这 1， 其 人 十 
0 


数据 包 分 块 数目 。 相 应 的 ， 加 密 速 度 可 表示 为 
B BT 


1024Lt 1024L 1 
了 = 本 a (10) 
Vi = 2 二 2 70 B 兰 B, 
1024Lt 1024L 


其 中 : 中 断 请 求 频率 了 为 SR-IOV 密码 设备 每 秒 实际 接收 
到 的 中 断 请 求 频率 ,在 加 密 速度 没有 达到 最 大 值 之 前 , SR-IOV 
密码 设备 接收 到 的 中 断 请 求 频率 必定 小 于 理想 值 。 然 而 实际 上 
SR-IOV 设备 接收 到 的 加 密 数 据 包 的 大 小 是 由 用 户 决 定 的 ， 其 
设备 本 身 只 是 为 虚拟 密码 机 提供 密码 运算 服务 ， 因 此 无 法 改变 
接收 到 的 加 密 数 据 包 大 小 ， 只 能 从 中 断 请 求 频率 入 手 来 控制 
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SR-IOV 密码 设备 每 秒 所 能 处 理 的 密码 运算 量 。 
当 加 密 速度 取得 最 大 值 V,,, 时 ， 
的 中 断 请 求 频率 达到 相应 


由 式 (8 ) 可 知 ， 
加 密 数据 包 和 密码 设备 接收 到 


的 理 


想 值 B, 和 万 。 如 果 控 制 密码 设 


备 每 秒 接收 到 的 中 断 请 求 频率 ， 将 每 个 VF 的 中 断 频 率 上 限 均 


设置 为 1 ， 那 么 即使 SR-I 
包 大 小 大 于 理想 值 B, 。| 


备 仅 能 恰好 处 理 


B, 大 小 的 加 密 数 据 包 ， 而 此 时 的 加 密 速度 正 


好 达到 最 大 值 we 。 


由 于 事先 对 


OV 密码 设备 每 秒 接收 到 的 加 密 数 据 


于 中 断 频 率 的 限制 ，SR-IOV 密码 设 


VF 的 中 断 频 率 上 限 进行 设置 存在 局 限 性 ， 需 
要 先 通过 实验 测试 获得 数据 ， 


找到 最 优 中 断 频 率 ， 再 对 VF 的 


中 断 频 率 上 限 进行 设置 , 而 且 考 虑 到 不 同 密码 算法 复杂 度 不 同 ， 
CPU 处 理 不 同 密码 算法 所 消耗 的 时 钟 周期 也 不 同 ， 则 达到 某 种 


密码 算法 的 最 大 加 密 速 度 所 对 应 的 中 断 频 率 会 存在 差异 ， 因 此 
为 了 能 让 中 断 频 率 能 根据 加 密 速 度 的 变 


该 方法 不 具备 普 适 性 。 


化 自动 i 
动 调节 VF 
示 。 


5 昌 


节 阔 值 ， 本 文 提 
中 断 频 率 上 限 的 控制 方案 。 


加 密 用 例 


出 了 


种 通过 监测 加 密 速 度 变化 来 自 
该 方案 的 架构 如 图 7 所 


虚拟 密码 机 


VF 驱动 
三 一 一 一 六 控制 算法 
| 和 


IOMMU | 
SR-IOV VF 


该 方案 在 VF 
速度 的 变化 。 


驱动 
当 加 密 速度 


速度 低 于 上 一 秒 的 力 


制 算 法 
率 ， 
般 设 为 


里 想 值 ， 


图 7 中 断 频率 控制 架构 
层 加 入 速度 监测 模块 ， 可 实时 监测 加 密 


出 现下 降 的 趋势 时 ， 即 下 一 秒 的 加 密 


[ 密 速 度 
动 将 VF 中 断 频率 上 限 设置 为 上 一 秒 时 的 VF 中 断 频 
且 之 后 不 作 更 改 。 对 于 VF 中 断 频 率 上 限 初始 值 的 设置 
因为 实际 上 CPU 不 可 能 把 所 有 时 间 放 在 处 理 


度 时 ， 速 度 监 测 模块 通过 中 断 频 率 控 


中 断 请 求 上 ， 在 实际 实验 时 ， 
在 整个 监测 的 过 程 中 ， 速 度 监测 模块 只 调整 一 次 VF 


想 值 1 。 


最 优 中 断 频 率 取 值 绝 不 会 超过 理 


的 中 断 频 率 上 限 ， 此 时 调整 的 中 断 频 率 上 限 必 定 小 于 初始 值 。 


速度 监测 模块 的 中 断 频 率 控制 算法 实现 如 


下 所 示 ， 


Algorithm controlling of interrupt rate 


Initialization: Interrupt Rate7 <— 1, 


Handing: 
t=0,i 


=0,]=0,k=0 


get the speed of the encryption V 


i<¢V 
J€i 
ft<-(t+1) 
i 二 + 十 
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i¢eV 
if i> jthen 
k <- get current Interrupt Rate( ) 
elseif i</ then 
Tok 
end if 


通过 在 速度 监测 模块 中 加 入 中 断 频 率 控制 算法 ，VF 驱动 
便 可 实时 监测 虚拟 密码 机 处 理 加 密 用 例 时 加 密 速 度 的 变化 ， 妆 
监测 到 虚拟 密码 机 加 密 速 度 达到 最 大 值 时 ， 便 自动 将 VF 中 断 
频率 上 限 调 整 为 虚拟 密码 机 最 大 加 密 速 度 时 的 中 断 频率 ， 即 最 
佳 中 断 频 率 , 从 而 保证 CPU 处 理 中 断 所 占用 的 时 钟 周期 不 在 继 
续 增 大 ， 并 能 以 最 大 处 理 能 力 处 理 虚 拟 密码 机 接收 到 的 加 密 数 
据 包 ， 使 虚拟 密码 机 的 加 密 速 度 始终 保持 在 最 高 水 平 ， 充 分 提 
高 虚拟 密码 机 加 密 性 能 。 


测试 


为 了 体现 虚拟 密码 机 在 引入 中 断 频 率 控制 算法 后 加 密 性 能 
的 提升 ， 实 验 中 分 别 对 每 一 台 虚 拟 密码 机 的 VF 驱动 添加 了 速 
度 监测 模块 ， 以 加 密 速 度 的 大 小 来 判断 虚拟 密码 机 加 密 性 能 
判定 标准 为 : 加 密 速 度 越 大 , 虚拟 密码 机 加 密 性 能 越 好 ; 反之 ， 
加 密 速 度 越 小 ， 虚 拟 密码 机 加 密 性 能 越 差 。 本 节 实 验 环境 为 : 
主机 和 虚拟 密码 机 操作 系统 均 为 CentOS-7-x86 64-1511， 内 核 
版 本 为 Linux 3.10.0-327.e17.x86_ 64， 处理 器 为 Inteld XeonG 
CPU E5-2620 v3 @2.40 GHz，CPU 核心 数 为 12 核 ， 内 存 大 小 
为 128 GB， 支 持 VT-x 技术 ， 且 支持 SR-IOV， 每 台 虚 拟 密码 
机 均 分 配 1 个 vCPU 和 2048MB 内 存 ， 密 码 设备 为 Intel 
Corporation DH895XCC Series QAT 。 

本 章 分 别 选 取 了 对 称 加 密 算法 AES128、 杂 凑 算 法 SHA256 
和 公 钥 算法 RSA 来 代表 不 同类 型 密码 算法 , 探究 其 加 密 性 能 提 
升 的 差异 性 。 测 试 工具 为 crytodev。Crytodev 是 调用 密码 设备 
的 一 个 benchmark 工具 ， 可 以 测试 密码 设备 中 密码 算法 的 运算 
速度 ， 其 中 包含 AES128、SHA256 和 RSA 等 加 密 算法 。 
4.1 AES128 加 密 性 能 测试 

如 2.2 节 所 述 ， 当 虚拟 密码 机 需要 处 理 的 加 密 字 节 块 增 大 
时 ， 中 断 请 求 频率 也 随 之 增 大 ， 但 是 加 密 速 度 增 大 到 一 定 值 后 
出 现下 降 的 趋势 。 由 第 3 章 的 分 析 可 知 ， 过 大 的 中 断 请 求 频率 
会 占用 较 多 的 CPU 时 钟 周期 ， 导 致 CPU 用 于 处 理 密码 运算 的 
时 钟 周期 严重 减少 ， 从 而 影响 虚拟 密码 机 加 密 速 度 。 在 虚拟 密 
码 机 VF 驱动 层 加 入 速度 监测 模块 后 , AES128 加 密 速度 和 中 断 
频率 的 变化 如 图 8 所 示 。 由 图 9 可 知 , 当 加 密 字 节 块 达到 16 384 
字 节 时 ，AES128 加 密 速 度 达 到 最 大 ， 相 应 的 最 优 中 断 频 率 约 
为 6 450。 加 入 速度 监测 模块 后 ， 中 断 频率 不 再 上 升 ， 相 应 的 
AES128 加 密 速度 在 加 密 字 节 块 为 32 768 时 轻微 下 降 了 0.1 GB， 
而 后 又 恢复 最 大 速度 运行 。 这 是 由 于 速度 监测 模块 在 调整 VF 
中 断 频率 上 限时 占用 了 一 部 分 CPU 资源 。 中 断 频 率 上 限 调整 结 
束 后 ， 虚 拟 密码 机 将 保持 最 大 加 密 速 度 运行 


TT 
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图 8 AES128 加 密 性 
测试 


能 测试 


断 频 率 meeeeee 优化 后 中 断 频率 


与 AES 算法 加 密 方式 不 同 ，SHA256 是 一 种 杂凑 算法 ， 计 


算 复 杂 度 较 高 。 当 虚拟 密码 机 对 SHA256 算法 进行 加 密 时 ， 其 
加 密 速 度 的 变化 趋势 与 AES128 算法 大 致 相似 ， 但 最 大 加 密 速 
度 和 最 优 中 断 频 率 均 不 同 。SHA256 算法 的 加 
断 频 率 变化 如 图 
字 节 时 ，SHA256 算法 加 密 速 度 达到 最 大 ， 相 
率 约 为 5 109。 加 入 速度 监测 
后 ， 虚 拟 密码 机 对 SHA256 算法 的 加 密 速 度 维 


左右 。 


4.3 RSA 加 


对 于 RSA 公 钥 密码 算法 来 说 , 其 


9 所 示 。 由 图 


密 速度 变化 和 中 
9 可 知 ， 当 加 密 字 


节 块 为 16 384 


应 的 最 优 中 断 频 
模块 后 ， 中 断 频 率 不 再 2 


上 升 ， 


持 在 177 MB/s 


7000 
6000 
5000 到 
EE 
4000 党 
后 
3000 时 
2000 下 
时 1000 
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图 9 SHA256 加 密 性 能 测试 
密 性 能 测试 


硬件 实现 速度 比较 慢 ; 相 


比 于 对 称 算法 DES 来 说 ，RSA 硬件 实现 的 速度 比 DES 慢 大 约 


1000 倍 。 


的 数据 块 进行 测 


实验 中 分 别 对 512、 
试 ， 发 现 字 节 越 大 ， 加 密 速 度 越 慢 ， 而 相应 的 


1 024、2 048 和 4 


096 字 节 大 小 


中 断 频 率 


一 些 提 升 , 但 是 提升 


不 高 。 加 入 速度 监测 模块 后 , 虽然 RSA 加 密 速度 有 
体 测试 结果 如 图 10 所 示 。 


度 不 高 ? 


测试 结果 表明 ， 对 


其 加 密云 


是 针对 VO 传输 的 优 
反而 对 于 对 
算 复杂 度 比 公 钥 算法 低 得 多 ， 对 


明显 。 


显 。 


而 中 断 


于 公 钥 算法 RSA 来 说 ， 本 身 复杂 度 比较 高 ， 
过 程 应 归 为 计算 密集 型 的 操作 ， 
化 ， 对 于 计算 密集 型 操作 的 优化 体现 并 不 
称 算法 AES128 和 杂凑 算法 SHA256， 其 计 
于 IO 传输 的 优化 效果 比较 明 


该 


频率 的 优化 主要 
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图 10 RSA 加 密 性 能 测试 
5 结束语 
为 了 解决 SR-IOV 密码 设备 的 性 能 运算 瓶颈 问题 ， 本 文 研 
究 了 影响 SR-IOV 密码 设备 密码 运算 性 能 的 因素 一 一 过 多 的 中 
断 请 求 频率 导致 的 SR-IOV 密码 设备 加 密 性 能 降低 ， 并 建立 了 
相应 的 中 断 频 率 控制 模型 ， 理 论 分 析 了 中 断 频 率 、 加 密 字 节 块 
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和 加 密 速度 三 者 之 间 的 关系 ， 且 在 此 基础 上 提出 了 一 种 中 断 频 
优化 方法 。 该 方法 是 在 VF 驱动 层 添加 了 速度 监测 模块 ， 
在 模块 内 加 入 中 断 频 率 控制 算法 ， 可 实时 监测 虚拟 密码 机 加 密 
速度 的 变化 。 当 速度 监测 模块 监测 到 虚拟 密码 机 加 密 速 度 降 低 
时 ， 自 动 将 VF 中 断 频 率 上 限 调整 为 上 一 秒 的 中 断 频率 ， 从 而 
控制 虚拟 密码 机 接收 到 的 中 断 请 求 频率 , 使 CPU 尽 最 大 能 力 处 
理 密码 运算 ， 充 分 提高 了 虚拟 密码 机 加 密 性 能 。 本 文 分 别 选用 
才 称 密码 算法 AES128、 杂 凑 算 法 SHA256 和 公 钥 密码 算法 RSA 
进行 了 实验 验证 。 实 验 结果 表明 ， 对 于 IO 密集 型 加 密 过 程 ， 
即使 用 对 称 密 码 算法 加 密 和 杂凑 算法 加 密 ， 在 VF 驱动 层 加 入 
速度 监测 模块 能 充分 发 挥 虚拟 密码 机 加 密 性 能 ， 而 对 于 计算 密 


(=) 


和 


> 


集 型 加 密 过 程 ,即使 用 RSA 算法 加 密 , 性 能 提升 不 明显 。 因 此 ， 
本 文 方案 对 于 LO 传输 的 优化 起 到 了 良好 的 促进 作用 ， 充 分 提 
高 了 虚拟 密码 机 加 密 性 能 。 
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